A社、O社、谷歌和微软联合起草拒绝AI训练声明，网站添加声明即可阻止

Google、微软、OpenAI 和 Anthropic 正在共同支持一项新的学习方法 AI 训练偏好声明。网站可以通过修改 robots.txt 文件，表明自己的内容是否允许被 AI 公司用于训练模型。根据这份草案，网站管理员只需添加一组规则，就能向多家支持该规则的 AI 公司表达声明。

声明内容如下：

1. # 全站禁止规则。

2. User-Agent: __usage_ai-training。

3. Disallow:/。

4. # 允许特定目录示例。

5. User-Agent: __usage_ai-training。

6. Allow:/archive/。

7. # 不允许特定目录示例。

8. User-Agent: __usage_ai-training。

9. disallow:/archive/。

10. # 其中允许特定目录与全站禁止不冲突，即允许 /archive/ 但其他目录全部禁止。

在网站的 robots.txt 文件中加入这段内容，即可声明全站内容不允许用于训练 AI 模型。网站管理员也可以调整允许或不允许的目录，比如让部分目录的内容可用于 AI 训练，而另一部分内容不允许被用于 AI 训练。

各家支持时间不同：

目前该方案仍属于互联网草案。不过微软已经表示，将从 2027 年 2 月 1 日起遵循该声明，因此不希望内容被用于 AI 训练的网站现在就可以修改文件并添加相关声明。

Google 计划从 2027 年年初开始提供支持，但具体时间还要看后续准备工作的完成情况。OpenAI 表示将在未来几个月内实施该方案，Anthropic 似乎已经开始支持该草案。

禁止训练和引用内容生成回答属于不同用途：

上述声明只表达网站对内容用途的选择。按照草案说明，单独设置这一声明并不会直接阻止爬虫访问网页；如果网站要限制特定爬虫抓取内容，仍需通过传统 robots.txt 规则进行配置。

训练内容与 AI 回答引用网页也属于不同用途。微软为自家服务额外提供了 AI Grounding 控制，供网站决定内容是否允许在 AI 生成回答时被引用。这项控制针对具体页面，且仅适用于微软服务。

Google 则表示，如果网站使用上述声明拒绝 AI 训练，但没有明确设置 Google-Extended，Google 计划按网站拒绝 Google-Extended 规则处理。Google-Extended 涉及 Gemini 模型训练，也涉及部分 Gemini 回答的网页参考用途。